home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1994 #2 / Monster Media No. 2 (Monster Media)(1994).ISO / freq_qa / offlnfaq.zip / FAQLIKE.FAQ next >
Internet Message Format  |  1994-06-12  |  20KB
  1. From: mbn@greyskul.intel.com (Mike Northam)
  2. Newsgroups: alt.usenet.offline-reader
  3. Subject: YAF (Yet Another FAQ)
  4. Date: 25 May 94 10:22:45
  5. Organization: Shorter Software Solutions
  6. Lines: 416
  7. Distribution: world
  8. Message-ID: <MBN.94May25102245@greyskul.intel.com>
  9. NNTP-Posting-Host: greyskul.intel.com
  10. X-Status: R
  11.  
  12. Note: I have attempted to contact the original author of this document,
  13. Zhahai Stewart, about ongoing maintenance and posting of it.  I have not
  14. been successful, so have taken the liberty of making some minor updates
  15. and corrections.  I wouldn't have bothered except that I found this
  16. document particularly helpful when I was getting started in offline
  17. reading and thought it was worth a little work.  I invite any further
  18. suggested changes.
  19. Mike Northam (mbn@greyskul.intel.com)
  20.  
  21. -----------
  22. The following is growing into an FAQ-like document for Unix Offline Readers.
  23. Please, email me corrections and additional information (not flames) at
  24.       zstewart@nyx.cs.du.edu
  25. Additions by Mike Northam mbn@greyskul.intel.com
  26.  
  27. After I posted the first version of this, Steve Belczyk sent me a copy of a
  28. similar document and I considered abandoning this effort, but others have
  29. apparently been unaware of it, and this document has additional information,
  30. so I will for now continue.
  31.  
  32. =====================================
  33.  
  34.               Unix host to DOS offline-reader systems
  35.          for reading, replying, and posting email and news.
  36.              Zhahai Stewart
  37.             12/06/93 Version
  38.                 05/25/94 updates by Mike Northam
  39.  
  40.  
  41. =============== Intro ===============
  42.  
  43. Many people read their internet mail and usenet newsgroups via direct login
  44. to a Unix based host, using a terminal (like a VT-100/200/300 series), or
  45. a computer emulating a terminal.  They may do this via a wired connection
  46. (say, at a university computer lab), or via a modem and telephone connection.
  47. On the Unix end, they may run a news reader program such as rn, trn, nn, tin,
  48. etc. for news, and a mail reader such as mail, elm, etc. for email.
  49.  
  50. (Of course, lucky ones have a high powered graphical workstation on a high
  51. speed network gated to the internet, but that's another thing...).
  52.  
  53. For those who are connecting via modem and a computer emulating a terminal,
  54. it becomes obvious that they could reduce their connect time (which may cost
  55. money, or may tie up a phone line, or ...) if they could download new email
  56. and news, read and respond "offline" (while not connected to the Unix host),
  57. and then upload their mail and news responses.  This is the idea behind
  58. offline readers.  A very similar process is used by many BBS users, but the
  59. typical BBS oriented formats and offline readers (eg: QWK and Bluewave
  60. formats and offline readers) were not designed for Internet mail and Usenet
  61. news.
  62.  
  63. However there are now several options for offline reading of internet email
  64. and usenet newsgroups.  First off, there are "sorta" 4 packet formats:
  65.  
  66.   SOUP - designed for just this purpose, open standard, has the most support;
  67.            used to be called "HellDiver Packet Format" or HDPF.
  68.   ZipNews - also designed for this, proprietary, one $20 shareware reader
  69.   QWK plain - actually BBS std, doesn't handle email and news well,
  70.            especially bad for replies; but can be read by any QWK reader.
  71.   QWK with header in body - includes internet/usenet header in the QWK body;
  72.       theoretically a reader could use this, but so far none do; one can
  73.       at least read (verbosely) the header info, and an expert can manually
  74.       create appropriate response headers (dangerous).
  75.  
  76. Basically, all of these consist of a group of files (one or two per newsgroup,
  77. plus a few extra) enclosed in a compressed archive file (like *.zip).
  78.  
  79. On the Unix side, there are two packages which can create these packets for
  80. download, and accept uploaded responses.
  81.  
  82.    UQWK - can create/accept all four (SOUP, Zipnews, QWK plain and QWK header)
  83.    getnews/postreply - can create/accept SOUP (in slnr package)
  84.  
  85. Both of these are distributed in C source code, and may need to be compiled
  86. on your Unix machine host (somebody else may already have done this, or you
  87. may have to).
  88.  
  89. On the nearby (to you) end, on your machine, there are several offline
  90. readers.  There are two basic dynamics: either they read the downloaded
  91. packet directly, or you run one program to import each packet into a local
  92. messagebase and another to read/respond from the messagebase.  A "threaded"
  93. reader can group related messages together (eg: same subject); unthreaded
  94. ones display them in the order received.
  95.  
  96.    slnr - SOUP only; MSDOS; packet reader; distributed in C source; colored
  97.      screens supported; also runs under Unix or Atari or OS/2
  98.    yarn - SOUP only; MSDOS; messagebase reader; threaded
  99.    unor - SOUP only; MSWindows; packet reader; unthreaded (sorted by
  100.      'Subject:' header)
  101.    hpv - SOUP only; MSDOS; packet reader?
  102.    ZipNews Reader - ZipNews only; MSDOS; packet reader; threaded; shareware
  103.       $20; unregistered version can read netnews only, cannot read email or
  104.       respond to either
  105.    any QWK reader - can read QWK plain or QWK header, but cannot handle all
  106.       of the internet/usenet fields, or good responses.  Not reccommended
  107.       except as a last resort.  MANY available, for many machines and OS's.
  108.  
  109. Note that all of these formats, host programs, and offline readers can handle
  110. both email and newsgroups; unlike the typical Unix software division of labor,
  111. the same program usually does both.
  112.  
  113. There is more information on the formats, readers, and host software later in
  114. this document, including file names, authors, and ftp locations.
  115.  
  116. ========= Setting up and configuring the software =========
  117.  
  118. This can be complicated, and very much depends on the software you are using.
  119. You may have to create configuration files (on the DOS and/or Unix end), or
  120. set environment variables (likewise, on either or both ends), or use the
  121. right set of command line parameters.  You may want to create "shell scripts"
  122. (on the Unix End) or "batch files" (on the DOS end) to aid you in getting
  123. everything set up or called correctly.  You will have to read the documents
  124. for the software you plan to use.  Ask specific questions in the newsgroup
  125. if you get confused.  This document would be many times longer if I tried
  126. to explain all the background and details (well, even that portion thereof
  127. which I more or less understand <grin>).
  128.  
  129. You may even need to compile some C program(s) to get started.  Some systems
  130. are simple (like getnews/postreply/slnr) and fairly obvious to anybody used
  131. to the compiler; others like uqwk include a makefile to handle the complexity.
  132. Get local help if you cannot figure out how to compile.  [See note at end.]
  133.  
  134. ========== Operating Procedure (after set up) ===========
  135.  
  136. Typical usage:
  137.   Use your terminal program and modem to log in to the Unix host as usual.
  138.   Run UWQK or getnews with proper parameters to extract news and email and
  139.       create a 'download' packet.
  140.   Download the 'download' packet using a modem file transfer protocol like
  141.       ZMODEM.
  142.   Log off.
  143.  
  144.   For packet reader, run the reader software on the new packet; read & reply
  145.   For messagebase reader, run the import software on the new packet; then
  146.       run the reader to read from the messagebase.
  147.   The reader should create a reply ('upload') packet if you have any responses.
  148.  
  149.   Use the terminal program to log in again (or do this next time you download).
  150.   Upload the reply packet via a modem file transfer protocol like Zmodem.
  151.   Run UQWK or postnews with the proper parameters to process the reply packet
  152.       and send email and/or news to the appropriate destinations.
  153.   Log off.
  154.  
  155. One part not specifically addressed here is the process of moving individual
  156. files in the packet into and out of compressed archives.  Some aspects may be
  157. done automatically, others you may have to do manually (or via batch files).
  158. For example, getnews will invoke a configurable archivers (by default, zip),
  159. but you have to manually unarchive (unzip, pkunzip) this file on your PC before
  160. handing the enclosed files to slnr.  Read the docs.
  161.  
  162. Logging in, running the host programs, and downloading/uploading are still your
  163. responsibility, so you need to already know how to log on to the host system,
  164. and how to download and upload binary files using a protocol like Zmodem.  The
  165. UQWK and getnews/postreply software must also exist on the Unix host, and be
  166. properly configured (these come with doc files).  You should understand the
  167. idea of compressed archive formats, like .zip files.
  168.  
  169. ========== Basic Questions and Answers ============
  170.  
  171. Q: What is "subscribing" to a newsgroup?
  172. A: This just means that you have it on a list to be read; the list is
  173.  maintained as a file on the host, and it has both the name of the newsgroup
  174.  and the list of messages (by number) which you have already read.  This
  175.  file is typically named ".newsrc" and is kept in your host directory.  Files
  176.  beginning with a period are by default not shown, so this is a semi-hidden
  177.  file; see a book on Unix for more details.  Subscribing means the newsgroup
  178.  names go into this file (one per line), unsubscribing means the name is
  179.  removed.  (Detail: actually, it's subscribed only if the newsgroup name
  180.  is followed by a colon; if followed by an exclamation point, it is
  181.  unsubscribed even if listed in the file).  Offline reader host programs
  182.  (getnews and uqwk) also use a file like this for the same purpose (to
  183.  know which groups are subscribed, and which messages have already been
  184.  marked as read); they may use the same file, or separate ones.
  185.  
  186.  Note that most online newsreaders allow you to subscribe or unsubscribe to
  187.  newsgroups, and change your .newsrc accordingly (as they also do to show
  188.  which messages you read).  You can also do so with a text editor, as the
  189.  ".newsrc" file is simple text., and there exist special programs for
  190.  maintaining this file.  Offline host programs may require that you use some
  191.  online method to maintain your .newsrc (or equivalent)--the online reader,
  192.  or an editor, or a maintenance program; or they may allow you to subscribe
  193.  and unsuscribe remotely.  For example, the SOUP protocol has explicit
  194.  options (which may or may not be implemented) for subscribing and
  195.  unsubscribing, as well as listing newsgroups.  Or, the uqwk program can
  196.  read commands mailed to it as messages.  See the documentation.
  197.  
  198. Q: Can I read my mail/news both online (connected to the Unix host via a
  199.  terminal or terminal emulator and using elm/nn/trn/etc.), and offline (via
  200.  a packet format and offline reader as described here)?
  201.  
  202. A: Yes, but you need to think out what you are trying to do.  Both the online
  203.  reading programs and the host end of the offline system keep track of which
  204.  messages you have read or not read.  Do you want them to use the same info
  205.  about this?  Or each keep separate pointers?
  206.  
  207.  Same info: For news, use the same .newsrc file for both the online news
  208.  readers (like rn/trn/nn/tin/etc.) and for the host end of the offline system
  209.  (like uqwk/getnews).  Once either of these has read a message, it will be
  210.  marked not to be presented to you again by either one (unless you take
  211.  special actions).  For mail, have uqwk/getnews delete your incoming mailbox
  212.  after collecting the messages therein.  In this case, each mail message will
  213.  go to the online or offline reader, whichever gets it first (actually, this
  214.  is only true if you delete it from the incoming mailbox with the online mail
  215.  program; if you leave it around, the offline host program will snarf it up
  216.  when it next runs).
  217.  
  218.  Different info: For news, use a different .newrc type file for each; uqwk
  219.  can be configured to use another one, getnews can be edited and recompiled.
  220.  You can decide to put some newsgroups into each, allowing some to be read
  221.  online and some offline.  Of you a newsgroup in both such files, in which
  222.  case the online and offline readers will maintain separate pointers.  For
  223.  mail, configure the offline host program to not delete your mailbox; you
  224.  will get all mail both offline and online.
  225.  
  226.  You can answer this question (using the same or different info about
  227.  what has been read for online and offline) independently for mail and news.
  228.  The difference between them is that for news, you only have info about
  229.  which messages you have already read (in your .newsrc or equivalent file),
  230.  but the messages (whicha are shared by everybody) stay around for a while
  231.  and you can still refetch ones you are marked as having read with some
  232.  minor effort; but for mail, once the messages are deleted from your incoming
  233.  mailbox (by an online mail program or an offline host program), they are
  234.  gone, period.
  235.  
  236. Q: I cannot compile getnews.c on my Unix host; it gives two errors, one near
  237.  "recompile" and another near the "I" command description.
  238. A: Version 1.9 of getnews.c is mostly "old" C, but has one ANSI extension which
  239.  confuses some older C compilers: concentanation of two adjacent quoted
  240.  strings.  This is used for multiline strings in two places.  You have to
  241.  change the second and following strings into separate print statements,
  242.  matching the first one.  Maybe this will be changed in a later version.  The
  243.  problem is your compiler being too old, not bad coding on the author's part.
  244.  Luckily, this is easy to compensate for.
  245.  
  246. Q: On the PC, "slnr" blows up in strange ways with some newsgroups.
  247. A: If the newsgroup name plus description is too long, the stack gets trashed,
  248.    with unpredictable but unpleasant results.  In the function "show_header()",
  249.    increase the length of the desc[80] array, maybe to 160.  Recompile.
  250.  
  251. =============== Formats =============
  252.  
  253. Format: QWK (plain; message body = Usenet message body)
  254. Origin: mark.herring@nashville.com (Mark "Sparky" Herring), extended by others
  255. Version: 1.7    
  256. Ftp: (various) qwklay16.zip     QWK format spec
  257. Files Dnloaded:CONTROL.DAT,MESSAGES.DAT,*.NDX
  258. Files Uploaded:<bbsid>.MSG
  259. Unix Host End: uqwk   (optional mode)
  260. DOS Reader End: any standard QWK reader
  261.  
  262. Advantages:
  263.    Widely supported standard, many readers available for many machines
  264.    Compatible with QWK packets from many BBSs and doors
  265.    Uqwk source freely available
  266. Disadvantages:
  267.    QWK format truncates some important fields, is missing others
  268.        * This is a major problem for posts and replies *
  269.  
  270. ***
  271.  
  272. Format: QWK (w/header; message body = Usenet message header and body)
  273. Origin: (see above for basic QWK)
  274. Version: (see above for basic QWK)
  275. Ftp: (see above for basic QWK) No spec for QWK with usenet headers
  276. Files Dnloaded:CONTROL.DAT,MESSAGES.DAT,*.NDX
  277. Files Uploaded:<bbsid>.MSG
  278. Unix Host End: uqwk   (default mode)
  279. DOS Reader End:       [?]
  280.  
  281. Advantages:
  282.    Piggybacks on std QWK, can fallback to previous case
  283.    With full headers, it's possible to write USENET aware reader
  284.    Uqwk source freely available
  285. Disadvantages:
  286.    No known QWK readers yet make correct use of Usenet headers embedded
  287.        in the QWK message body, for replies, display, threading, etc.
  288.  
  289. ***
  290.  
  291. Format: SOUP  (formerly Helldiver Packet Format, HDPF or HPF)
  292. Origin: rhys@cs.uq.oz.au (Rhys Weatherley)
  293. Version: 1.2
  294. Ftp: (various) soup12.doc       SOUP format spec
  295. Files Dnloaded: AREAS, *.MSG, *.IDX  (typ in INFONEWS.ZIP)
  296. Files Uploaded: REPLIES, RMAIL.MSG (typ in REPLY.ZIP) for slnr
  297.                 REPLIES, MAIL.MSG (typ in IOXR.ZIP) for yarn
  298. Unix Host End: getnews/postreply from slnr pkg; uqwk
  299. DOS Reader End: slnr; yarn; unor; hpv (Helldiver Packet Viewer)
  300.  
  301. Advantages:
  302.    Format designed for Usenet news/mail, powerful and expandable
  303.    Full header fields, no truncation
  304.    Source code freely available for getnews,postreply,slnr,uqwk
  305.    Largest number of readers for any full-header usenet offline format
  306. Disadvantages:
  307.    New standard, limited number of readers
  308.  
  309. ***
  310.  
  311. Format: ZipNews format
  312. Origin: jkilday@nlbbs.com (Jack Kilday)
  313. Version: 0.92y
  314. Ftp: (format not publicly documented)
  315. Files Dnloaded: Archived file <bbsname>.ZNS contains:
  316.     <user>.JN, <user>.NWS, <user>.MAI, <user>.GPS
  317. Files Uploaded: <bbsname>.pst contains:
  318.         <user>.id, <user>.* (one for each article or reply)
  319. Unix Host End: uqwk
  320. Dos Reader End: ZipNews Reader
  321.  
  322. Advantages:
  323.    Designed to handle usenet messages without omissions or truncations
  324.    For DOS BBSs, there is a compatible "ZipNews Door" host end
  325. Disadvantages:
  326.    Supported only by ZipNews Reader on DOS, and uqwk on unix hosts
  327.    Beta only at this time; registration is $19.95 during Beta phase
  328.        (with free upgrades to later versions)
  329.    ZipNews unregistered shareware will not post news, read email, or
  330.        send email, only read news (and send subscribe/unsubscribe cmds)
  331.        but a 10-day evaluation key can be obtained via email to try out
  332.        these functions
  333.  
  334. ============= Readers ============
  335.  
  336. ***
  337. Name: hpv 1.01b        Helldiver Packet Viewer
  338. Author: rhys@cs.uq.oz.au (Rhys Weatherley)
  339. Ftp: halcyon.com:/pub/incoming/hpv101b.zip
  340.  
  341. Notes: DOS reader.  SOUP format.  Reads archived SOUP packet (does its own
  342. unarchiving to a temporary and deletes temps on exit).  Multiple archiver
  343. formats accepted (ZIP/LHA/etc.)  Text/Graphical interface (Borland lib).
  344. "The Original" SOUP reader.
  345.  
  346. ***
  347. Name: helldiver 1.07?    Helldiver windows Packet Viewer
  348. Author: rhyx@cs.uq.oz.au (Rhyx Weatherley) ??
  349. Ftp: ?   helld107.zip
  350.  
  351. Notes: MS Windows viewer.  SOUP format.  (Is this just a Borland lib port?)
  352. Not much known to the author of this document.
  353.  
  354. ***
  355. Name: slnr 1.3a        Simple Local News Reader
  356. Author: Philippe Goujard (addr?)
  357. Ftp: oak.oakland.edu:/pub/msdos/offline/slnr13a.zip
  358.  
  359. Notes: DOS reader. SOUP format.  Reads directly from unarchived SOUP packet,
  360. directly produces replies.  Freely available in source.  Packaged along
  361. with getnews 1.9 and postreply, which can provide Unix SOUP host functions,
  362. also in source format.  Has compile options for Unix, OS/2 and Atari based
  363. reader. Currently limited to 500 msgs and 100 groups per packet in DOS
  364. version, but easy to expand.  Can colorize display via ANSI.SYS escape
  365. sequences.
  366.  
  367. ***
  368. Name: yarn 0.65        (Yet Another RN)
  369. Author: cthuang@io.org (Chin Huang)
  370. Ftp: oak.oakland.edu:/pub/msdos/offline/yarn-050.zip
  371.  
  372. Notes: DOS reader.  SOUP format.  Imports SOUP packets into its own
  373. messagebase format, date expires old messages; reader operates on messagebase
  374. rather than SOUP packet.  No source.
  375.  
  376. ***
  377. Name: unor 0.23        Usenet Offline Reader
  378. Author: rrusbasa@nyx10.cs.du.edu (Bob Rusbasan)
  379. Ftp: ftp.gte.com:/pub/unor/unor0023.zip
  380.  
  381. Notes: MS Windows Reader.  SOUP format.
  382.  
  383. ***
  384. Name: znr 0.92y        ZipNews Reader
  385. Author: jkilday@nlbbs.com (Jack Kilday)
  386. Ftp: oak.oakland.edu: /pub/msdos/offline/znr092y.zip
  387.      ftp.halcyon: /pub/waffle/news/znr092y.zip
  388.      ftp.gte.com: /pub/zipnews/znr092y.zip
  389.  
  390. Notes: DOS reader.  ZipNews format, or local Waffle BBS messagebase.
  391. Proprietary format; DOS based host also available (ZipNews Door).
  392.  
  393. ***
  394. Name: pboy 1.01?    PaperBoy
  395. Author: vart@seas.upenn.edu (Michael H. Vartanian)
  396. Ftp:    ?    pboy101.zip
  397.  
  398. Notes: MS Windows based.  SOUP Reader.  Not much known to document author.
  399.  
  400. ============ Unix based Host Software for Offline Readers ==========
  401.  
  402. Name: uqwk 1.8        Unix QWK host
  403. Author:  steve1@world.std.com (Steve Belczyk)
  404. Ftp: ftp.gte.com:/pub/uqwk/uqwk1.8.tar.Z
  405.  
  406. Notes: Unix host.  SOUP, ZipNews, QWK and QWK/header in body formats.
  407.  
  408. ***
  409. Name: getnews, postreply
  410. Ftp: oak.oakland.edu:/pub/msdos/readers/slnr13a.zip
  411.  
  412. Notes: Unix host.  SOUP format.  Source freely available.  Packaged with
  413. slnr reader.
  414.  
  415. =====================================================================
  416. The author of this document is Zhahai Stewart (zstewart@nyx.cs.du.edu),
  417. with helpful contributions from:
  418.    steve1@world.std.com (Steve Belczyk)
  419.    jkilday@nlbbs.com (Jack Kilday)
  420.    mbn@greyskul.intel.com (Mike Northam)
  421.  
  422. ---------------
  423. --
  424. Mike Northam, Shorter Software Solutions, on contract to Intel Corp.
  425. (h) (503) 324-1831 (o) (503) 696-2356
  426. mbn@greyskul.intel.com
  427. "Every now and then things become clear."  Jane Siberry, "The Walking"
  428.